Existing object detection methods are bounded in a fixed-set vocabulary by costly labeled data. When dealing with novel categories, the model has to be retrained with more bounding box annotations. Natural language supervision is an attractive alternative for its annotation-free attributes and broader object concepts. However, learning open-vocabulary object detection from language is challenging since image-text pairs do not contain fine-grained object-language alignments. Previous solutions rely on either expensive grounding annotations or distilling classification-oriented vision models. In this paper, we propose a novel open-vocabulary object detection framework directly learning from image-text pair data. We formulate object-language alignment as a set matching problem between a set of image region features and a set of word embeddings. It enables us to train an open-vocabulary object detector on image-text pairs in a much simple and effective way. Extensive experiments on two benchmark datasets, COCO and LVIS, demonstrate our superior performance over the competing approaches on novel categories, e.g. achieving 32.0% mAP on COCO and 21.7% mask mAP on LVIS. Code is available at: https://github.com/clin1223/VLDet.

This paper proposes a self-supervised approach to learn universal facial representations from videos, that can transfer across a variety of facial analysis tasks such as Facial Attribute Recognition (FAR), Facial Expression Recognition (FER), DeepFake Detection (DFD), and Lip Synchronization (LS). Our proposed framework, named MARLIN, is a facial video masked autoencoder, that learns highly robust and generic facial embeddings from abundantly available non-annotated web crawled facial videos. As a challenging auxiliary task, MARLIN reconstructs the spatio-temporal details of the face from the densely masked facial regions which mainly include eyes, nose, mouth, lips, and skin to capture local and global aspects that in turn help in encoding generic and transferable features. Through a variety of experiments on diverse downstream tasks, we demonstrate MARLIN to be an excellent facial video encoder as well as feature extractor, that performs consistently well across a variety of downstream tasks including FAR (1.13% gain over supervised benchmark), FER (2.64% gain over unsupervised benchmark), DFD (1.86% gain over unsupervised benchmark), LS (29.36% gain for Frechet Inception Distance), and even in low data regime. Our codes and pre-trained models will be made public.

We present a unified formulation and model for three motion and 3D perception tasks: optical flow, rectified stereo matching and unrectified stereo depth estimation from posed images. Unlike previous specialized architectures for each specific task, we formulate all three tasks as a unified dense correspondence matching problem, which can be solved with a single model by directly comparing feature similarities. Such a formulation calls for discriminative feature representations, which we achieve using a Transformer, in particular the cross-attention mechanism. We demonstrate that cross-attention enables integration of knowledge from another image via cross-view interactions, which greatly improves the quality of the extracted features. Our unified model naturally enables cross-task transfer since the model architecture and parameters are shared across tasks. We outperform RAFT with our unified model on the challenging Sintel dataset, and our final model that uses a few additional task-specific refinement steps outperforms or compares favorably to recent state-of-the-art methods on 10 popular flow, stereo and depth datasets, while being simpler and more efficient in terms of model design and inference speed.

变压器是一个变革性框架，可以对顺序数据进行建模，并在广泛的任务上取得了出色的性能，但具有高计算和能源成本。为了提高其效率，一个受欢迎的选择是通过二进制化压缩模型，将浮点值限制为二进制值，以节省资源消耗，这是由于廉价的钻头操作而大大减少了资源。但是，现有的二进制方法仅旨在最大程度地统计地减少输入分布的信息损失，同时忽略了注意机制核心的成对相似性建模。为此，我们提出了一种新的二进制范式，通过二维软式散发范式通过二维的散布量表（称为ecoformer）将原始查询和钥匙映射到锤子空间中的低维二进制代码中。学会了内核化的哈希函数，以以自我监督的方式从注意图中提取的基础真相相似性关系匹配。基于二进制代码的内部乘积与锤距距离以及矩阵乘法的关联性质之间的等效性，我们可以通过将其表示为二进制代码的点产量来近似线性复杂性中的注意力。此外，查询和钥匙的紧凑型二进制表示使我们能够用简单的积累来代替大多数昂贵的多重收益操作，以节省边缘设备上的片上能量足迹。关于视觉和语言任务的广泛实验表明，生态学家始终如一地达到与标准专注的可比性，同时消耗了更少的资源。例如，与标准注意相比，基于PVTV2-B0和Imagenet-1K，EcoFormer可实现73％的能量足迹降低，性能下降仅为0.33％。代码可从https://github.com/ziplab/ecoformer获得。

尽管两阶段矢量量化（VQ）生成模型允许合成高保真性和高分辨率图像，但其量化操作员将图像中的相似贴片编码为相同的索引，从而为相似的相邻区域重复使用现有的解码器体系结构的相似相似区域的重复伪像。为了解决这个问题，我们建议将空间条件的归一化结合起来，以调节量化的向量，以便将空间变体信息插入嵌入式索引图中，从而鼓励解码器生成更真实的图像。此外，我们使用多通道量化来增加离散代码的重组能力，而无需增加模型和代码簿的成本。此外，为了在第二阶段生成离散令牌，我们采用掩盖的生成图像变压器（MaskGit）来学习压缩潜在空间中的基础先验分布，该分布比常规自动回归模型快得多。两个基准数据集的实验表明，我们提出的调制VQGAN能够大大提高重建的图像质量，并提供高保真图像的产生。

Vision Transformers（VITS）为计算机视觉的最新突破提供了基础。但是，设计VIT的架构是艰苦的，并且在很大程度上依赖专家知识。为了自动化设计过程并结合了部署灵活性，一击神经体系结构搜索将超级网训练和体系结构专业化解除了各种部署场景。为了应对超级网中的大量子网络，现有方法在培训期间的每个更新步骤中都同样重要且随机对所有体系结构进行处理。在体系结构搜索过程中，这些方法着重于在性能和资源消耗的帕累托前沿寻找体系结构，这在培训和部署之间形成了差距。在本文中，我们设计了一种简单而有效的方法，称为FocusFormer，以弥合这种差距。为此，我们建议学习一个体系结构采样器，以在超级网训练期间在不同的资源限制下为帕累托前沿上的这些架构分配更高的采样概率，从而使它们充分优化，从而提高其性能。在专业化过程中，我们可以直接使用训练有素的体系结构采样器来获得满足给定资源约束的准确体系结构，从而大大提高了搜索效率。关于CIFAR-100和Imagenet的广泛实验表明，我们的FocusFormer能够提高搜索架构的性能，同时大大降低搜索成本。例如，在ImageNet上，我们具有1.4G FLOPS的FocusFormer-Ti在TOP-1准确性方面优于自动构架Ti 0.5％。

神经隐式表示在新的视图合成和来自多视图图像的高质量3D重建方面显示了其有效性。但是，大多数方法都集中在整体场景表示上，但忽略了其中的各个对象，从而限制了潜在的下游应用程序。为了学习对象组合表示形式，一些作品将2D语义图作为训练中的提示，以掌握对象之间的差异。但是他们忽略了对象几何和实例语义信息之间的牢固联系，这导致了单个实例的不准确建模。本文提出了一个新颖的框架ObjectsDF，以在3D重建和对象表示中构建具有高保真度的对象复合神经隐式表示。观察常规音量渲染管道的歧义，我们通过组合单个对象的签名距离函数（SDF）来对场景进行建模，以发挥明确的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的牢固关联。特别是，我们将语义信息转换为对象SDF的函数，并为场景和对象开发统一而紧凑的表示形式。实验结果表明，ObjectSDF框架在表示整体对象组合场景和各个实例方面的优越性。可以在https://qianyiwu.github.io/objectsdf/上找到代码

弱监督的点云分段，即，由于在整个3D场景中只有几个标记点的点云，因此由于为模型训练收集丰富的密集注释的沉重负担，因此是非常可取的。但是，由于有限的注释数据可能导致标签传播的指导不足，因此现有方法仍然具有挑战性，无法准确细分3D点云。考虑到基于平滑度的方法已经取得了令人鼓舞的进步，在本文中，我们主张在各种扰动下应用一致性约束，以有效地正规化未标记的3D点。具体而言，我们提出了一个新颖的dat（\ textbf {d} ual \ textbf {a} dappive \ textbf {t} ransformations模型，用于弱监督点云进行分割，其中双重自适应转换是通过两种对敌方策略在点 - 级别和区域级别，旨在在3D点云上执行局部和结构平滑度约束。我们在大规模S3DIS和SCANNET-V2数据集上使用两个流行的骨干评估了我们提出的DAT模型。广泛的实验表明，我们的模型可以有效地利用未标记的3D点并在两个数据集上实现显着的性能增长，从而为弱监督的点云进行了新的最新性能。

视觉变压器（VIT）触发了计算机视觉的最新和重大突破。它们的有效设计主要由计算复杂性的间接度量（即拖船）指导，但是，该指标与直接度量（例如吞吐量）具有明显的差距。因此，我们建议将目标平台上的直接速度评估作为有效VIT的设计原理。特别是，我们介绍了LITV2，这是一种简单有效的VIT，可与以更快的速度更快的不同模型大小相对现有的最新方法。 LITV2的核心是一种新型的自我发项机制，我们将其配音。希洛的灵感来自于洞察力的启发：图像中的高频捕获本地细节和低频集中在全球结构上，而多头自发项层则忽略了不同频率的特征。因此，我们建议通过将头部分为两组来解散注意力层中的高/低频模式，其中一组在每个本地窗口内通过自我关注来编码高频，而另一组则执行注意力以模拟全局关系。在每个窗口的平均低频键与输入功能图中的每个查询位置之间。从两组的有效设计中受益，我们表明希洛通过对GPU上的速度，速度和记忆消耗进行了全面测试，优于现有的注意机制。 LITV2由Hilo提供支持，是主流视觉任务的强大主链，包括图像分类，密集检测和分割。代码可从https://github.com/ziplab/litv2获得。

大规模数据集上的视觉语言预训练（VLP）在各种下游任务上表现出了首要性能。对于VLP来说，完整且公平的基准（即包括大规模的预训练数据集和各种下游任务）是必不可少的。尽管有很多具有英语语料库的基准，但使用其他语言（例如中文）为VLP建立丰富的基准是一个关键问题。为此，我们为研究界建立了一个称为零的中国跨模式基准，以比较VLP模型。我们发布两个用于下游任务的预训练数据集和五个微调数据集。旁边，我们提出了一个新的预训练前训练框架，用于跨模式学习。具体而言，我们应用全局对比度预级分别学习图像和文本的各个表示。然后，我们通过图像文本交叉编码器和文本图像交叉编码器以细粒度的排名方式融合表示形式。为了进一步增强模型的能力，我们提出了一种由目标引导的蒸馏和特征引导的蒸馏组成的双向蒸馏策略。对于简洁起见，我们将型号r2d2命名。我们在四个公共跨模式数据集和拟议的五个下游数据集上实现最先进的性能。在Flickr30k-CN，可可-CN和Muge进行零射击任务时，与最平均召回的R2D2进行了2.5亿个数据集的R2D2，在2.5亿个数据集中进行了4.7％，5.4％和6.3％的均值改善，而与最新的召回相比艺术。数据集，模型和代码可在https://github.com/yuxie11/r2d2上找到